Ernie de Baidu serait plus malin que ChatGPT, même en GPT-4

Il n'aura pas fallu attendre longtemps après la mise en service du robot conversationnel ChatGPT de OpenAI pour que plusieurs groupes chinois dévoilent des projets similaires de chatbot avancé.

L'un des premiers à se lancer franchement a été le groupe Baidu, équivalent de Google pour les moteurs de recherche en Chine. La firme avait annoncé dès le mois de janvier 2023 son intention de proposer un robot conversationnel capable de faire aussi bien que ChatGPT.

C'est ensuite au mois de mars qu'a été présenté Ernie (acronyme pour Enhanced Representation through Knowledge Integration) capable comme son homologue américain de répondre à toutes sortes de questions.

Meilleur que ChatGPT sur certains aspects ?

La Chine s'étant fait une spécialité de l'intelligence artificielle, il y a une vraie ambition à démontrer que ses robots conversationnels sont plus performants que ceux de l'Occident...et une vraie urgence à le faire au regard de l'évolution très rapide du segment.

Des tests ont donc été réalisés entre Ernie dans sa version la plus récente Ernie 3.5 et ChatGPT, avec modèle de langage GPT-3.5 mais aussi en GPT-4. Et selon le rapport du China Science Daily Journal, Ernie aurait surpassé ChatGPT sur plusieurs tests.

Sur plusieurs benchmarks, Ernie aurait obtenu de meilleurs résultats que ChatGPT en version 3.5 et aurait battu GPT-4 sur des tests de langage mais en langue chinoise.

Parmi les tests comparatifs, Ernie et ChatGPT ont été soumis à des examens qualificatifs et d'admission des étudiants en chinois, le premier ayant obtenu de meilleurs résultats que les deux versions de ChatGPT.

En revanche, sur des tests en langue anglaise, Ernie surpasserait GPT-3.5 mais resterait derrière GPT-4. Ernie a également obtenu un meilleur score sur un ensemble de 13 000 QCM (questions à choix multiples) mais est resté derrière GPT-4 sur un panel de questions produit par un ensemble d'universités américaines portant plus spécifiquement sur les sciences et sciences humaines.

La Chine aux avant-postes de l'IA générative

Baidu se félicite évidemment de ces résultats positifs pour son propre modèle de langage grâce à la dernière mise à jour Ernie 3.5 lancée trois mois seulement après la version beta de Ernie 3.0 du mois de mars.

Cela a permis d'apporter de sérieuses améliorations sur différentes capacités du robot conversationnel, notamment en écriture créative, questions et réponses, raisonnement et génération de code. Une partie des optimisations vient de modifications dans l'entraînement de l'IA générative et sa capacité d'inférence.

Pour Baidu, c'est aussi un bon moyen de rassurer par rapport aux démonstrations limitées des débuts mais également de se positionner face à la concurrence à venir d'autres chatbots chinois en cours d'émergence chez Alibaba et d'autres grands groupes chinois.